现有的多尺度解决方案会导致仅增加接受场大小的风险，同时忽略小型接受场。因此，有效构建自适应神经网络以识别各种空间尺度对象是一个具有挑战性的问题。为了解决这个问题，我们首先引入一个新的注意力维度，即除了现有的注意力维度（例如渠道，空间和分支）之外，并提出了一个新颖的选择性深度注意网络，以对称地处理各种视觉中的多尺度对象任务。具体而言，在给定神经网络的每个阶段内的块，即重新连接，输出层次功能映射共享相同的分辨率但具有不同的接收场大小。基于此结构属性，我们设计了一个舞台建筑模块，即SDA，其中包括树干分支和类似SE的注意力分支。躯干分支的块输出融合在一起，以通过注意力分支指导其深度注意力分配。根据提出的注意机制，我们可以动态选择不同的深度特征，这有助于自适应调整可变大小输入对象的接收场大小。这样，跨块信息相互作用会导致沿深度方向的远距离依赖关系。与其他多尺度方法相比，我们的SDA方法结合了从以前的块到舞台输出的多个接受场，从而提供了更广泛，更丰富的有效接收场。此外，我们的方法可以用作其他多尺度网络以及注意力网络的可插入模块，并创造为SDA- $ x $ net。它们的组合进一步扩展了有效的接受场的范围，可以实现可解释的神经网络。我们的源代码可在\ url {https://github.com/qingbeiguo/sda-xnet.git}中获得。

RGB-D对象跟踪最近引起了广泛的关注，这得益于视觉和深度通道之间的共生能力。但是，鉴于有限的注释RGB-D跟踪数据，大多数最先进的RGB-D跟踪器是高性能RGB的简单扩展程序，而无需完全利用深度通道中深度通道的潜在潜力离线训练阶段。为了解决数据集缺乏问题，本文发布了一个名为RGBD1K的新的RGB-D数据集。 RGBD1K包含1,050个序列，总计约250万帧。为了证明对较大的RGB-D数据集的培训的好处，尤其是RGBD1K，我们开发了一个基于变压器的RGB-D跟踪器，名为SPT，是使用新数据集的未来视觉对象跟踪研究的基线。使用SPT跟踪器进行的广泛实验的结果表明，RGBD1K数据集的潜力可以提高RGB-D跟踪的性能，从而激发了有效跟踪器设计的未来发展。数据集和代码将在项目主页上提供：https：//will.be.available.at.at.this.website。

基于图像集的视觉分类方法已通过以对称正定（SPD）歧管上的非单个协方差矩阵来表征图像集来实现出色的性能。为了更好地适应复杂的视觉场景，最近研究了一些用于SPD矩阵非线性处理的Riemannian网络（Riemnets）。但是，有必要问，是否可以通过简单地增加骚扰的深度来实现更大的准确性提高。答案似乎是负面的，因为更深层次的riemnets倾向于失去概括能力。为了探索这个问题的可能解决方案，我们为SPD矩阵学习提供了新的体系结构。具体来说，为了丰富深层表示，我们采用spdnet [1]作为骨干，并用堆叠的里曼式自动编码器（SRAE）构建在尾巴上。相关的重建误差项可以使SRAE和每个RAE的嵌入功能成为近似身份映射，这有助于防止统计信息的降级。然后，我们插入具有快捷方式连接的几个残留式块，以增强SRAE的表示能力，并简化更深层的网络的训练。实验证据表明，随着网络深度的增加，我们的DreamNet可以提高准确性。

主动学习（AL）是应选择的数据用于注释。现有的工作试图选择高度不确定或信息性的注释数据。尽管如此，它仍然不清楚所选择的数据如何影响AL中使用的任务模型的测试性能。在这项工作中，我们通过理论上证明，选择更高梯度规范的未标记数据导致测试损失的较低的上限，从而探讨了这种影响，从而产生更好的测试性能。但是，由于缺乏标签信息，直接计算未标记数据的梯度标准是不可行的。为了解决这一挑战，我们提出了两种计划，即预期的Gradnorm和熵 - Gradnorm。前者通过构建预期的经验损失来计算梯度规范，而后者用熵构造无监督的损失。此外，我们将这两个方案集成在通用AL框架中。我们在古典图像分类和语义分割任务中评估我们的方法。为了展示其域应用程序的能力及其对噪声的鲁棒性，我们还在蜂窝成像分析任务中验证了我们的方法，即Cryo-Collecton Subtom图分类。结果表明，我们的方法达到了最先进的卓越性能。我们的源代码可在https://github.com/xulabs/aitom提供

近年来，变压器架构目睹了快速发展，优于许多计算机视觉任务中的CNN架构，如视觉变压器（VIV）用于图像分类。然而，现有的视觉变压器模型旨在提取用于高级任务的语义信息，例如分类和检测。这些方法忽略输入图像的空间分辨率的重要性，从而牺牲相邻像素的局部相关信息。在本文中，我们提出了一个贴片金字塔变换器（PPT），以有效地解决上述问题。一致地，我们首先设计一个贴片变换器，将图像转换为一系列补丁，其中对每个修补程序执行变压器编码以提取本地表示。此外，我们构建了金字塔变换器，以有效地从整个图像中提取非本地信息。在获得原始图像的一组多尺度，多维和多角度特征之后，我们设计图像重建网络，以确保可以将特征重建为原始输入。为了验证有效性，我们将建议的贴片金字塔变压器应用于图像融合任务。实验结果表明其具有卓越的性能，而最先进的融合方法，在几种评估指标上实现了最佳结果。由于PPT网络的潜在代表性容量，它可以直接应用于不同的图像融合任务，而无需重新设计或再培训网络。

While deep learning succeeds in a wide range of tasks, it highly depends on the massive collection of annotated data which is expensive and time-consuming. To lower the cost of data annotation, active learning has been proposed to interactively query an oracle to annotate a small proportion of informative samples in an unlabeled dataset. Inspired by the fact that the samples with higher loss are usually more informative to the model than the samples with lower loss, in this paper we present a novel deep active learning approach that queries the oracle for data annotation when the unlabeled sample is believed to incorporate high loss. The core of our approach is a measurement Temporal Output Discrepancy (TOD) that estimates the sample loss by evaluating the discrepancy of outputs given by models at different optimization steps. Our theoretical investigation shows that TOD lower-bounds the accumulated sample loss thus it can be used to select informative unlabeled samples. On basis of TOD, we further develop an effective unlabeled data sampling strategy as well as an unsupervised learning criterion for active learning. Due to the simplicity of TOD, our methods are efficient, flexible, and task-agnostic. Extensive experimental results demonstrate that our approach achieves superior performances than the state-of-the-art active learning methods on image classification and semantic segmentation tasks. In addition, we show that TOD can be utilized to select the best model of potentially the highest testing accuracy from a pool of candidate models.

Unsupervised image registration commonly adopts U-Net style networks to predict dense displacement fields in the full-resolution spatial domain. For high-resolution volumetric image data, this process is however resource intensive and time-consuming. To tackle this problem, we propose the Fourier-Net, replacing the expansive path in a U-Net style network with a parameter-free model-driven decoder. Specifically, instead of our Fourier-Net learning to output a full-resolution displacement field in the spatial domain, we learn its low-dimensional representation in a band-limited Fourier domain. This representation is then decoded by our devised model-driven decoder (consisting of a zero padding layer and an inverse discrete Fourier transform layer) to the dense, full-resolution displacement field in the spatial domain. These changes allow our unsupervised Fourier-Net to contain fewer parameters and computational operations, resulting in faster inference speeds. Fourier-Net is then evaluated on two public 3D brain datasets against various state-of-the-art approaches. For example, when compared to a recent transformer-based method, i.e., TransMorph, our Fourier-Net, only using 0.22$\%$ of its parameters and 6.66$\%$ of the mult-adds, achieves a 0.6\% higher Dice score and an 11.48$\times$ faster inference speed. Code is available at \url{https://github.com/xi-jia/Fourier-Net}.

由于其极端的长距离建模能力，基于视觉变压器的网络在可变形图像注册中变得越来越流行。但是，我们认为，5层卷积U-NET的接受场足以捕获准确的变形而无需长期依赖性。因此，这项研究的目的是研究与现代变压器的方法相比，将基于U-NET的方法用于医学图像注册时是否已过时。为此，我们通过将平行的卷积块嵌入香草U-NET以增强有效的接受场来提出一个大核U-NET（LKU-NET）。在公共3D IXI Brain Dataset上，用于基于ATLAS的注册，我们表明，香草U-NET的性能已经与基于最新的变压器网络（例如Transmorph）相提并论，并且提出的LKU-NET仅使用其参数的1.12％和其多添加操作的10.8％，优于Transmorph。我们进一步评估了MICCAI Learn2Reg 2021挑战数据集中的LKU-NET，以进行主题间注册，我们的LKU-NET在此数据集中也优于TransMorph，并且在此工作提交后，在公共排行榜上排名第一。只有对香草U-NET的适度修改，我们表明U-NET可以在基于主体间和基于ATLAS的3D医疗图像注册上胜过基于变压器的体系结构。代码可在https://github.com/xi-jia/lku-net上找到。

我们提出Osformer，这是伪装实例分割（CIS）的第一个单阶段变压器框架。Osformer基于两个关键设计。首先，我们设计了一个位置传感变压器（LST），以通过引入位置引导查询和混合通风volvolution feedforward网络来获得位置标签和实例感知参数。其次，我们开发了一个粗到细节的融合（CFF），以合并LST编码器和CNN骨架的各种上下文信息。结合这两个组件使Osformer能够有效地融合本地特征和远程上下文依赖关系，以预测伪装的实例。与两阶段的框架相比，我们的OSFORMER达到41％的AP并达到良好的收敛效率，而无需大量的训练数据，即仅3040个以下的样本以下60个时代。代码链接：https：//github.com/pjlallen/osformer。

现有的解释模型仅生成建议的文本，但仍然难以生产各种内容。在本文中，为了进一步丰富解释，我们提出了一项名为“个性化展示”的新任务，其中我们同时提供文本和视觉信息来解释我们的建议。具体来说，我们首先选择一个个性化图像集，该图与用户对推荐物品的兴趣最相关。然后，自然语言解释将相应地产生我们的选定图像。对于这项新任务，我们从Google Local（即〜maps）收集一个大规模数据集，并构建一个用于生成多模式说明的高质量子集。我们提出了一个个性化的多模式框架，可以通过对比度学习产生多样化和视觉上的解释。实验表明，我们的框架受益于不同方式作为输入，并且与以前的各种评估指标相比，能够产生更多样化和表达的解释。